2015-ICML-Learning from Corrupted Binary Labels via Class-Probability Estimation

ラベルがCorruptedとは、Noisy Labelを指すが、PU Learningも含むというように、意地の悪いラベルのついたもので学習するということ。

この論文では以下の2つのことが分かった。

BERという、偽陰性率(元々PなのにNというラベルに)と偽陽性率(元々NなのにPになる)の平均という指標がある。CorruptedなラベルでBERの最小化をすれば、どれほどラベルがCorruptedしてるかが不明でも問題がない。
不明でも問題ないというが、Corruptedしてる割合などがわかれば、おのずと目的関数に補正をかけて学習ができる。

データは $\mathbf{x} \in \mathbb{R}^d$ 。ラベルは $Y=\{-1, +1\}$ だる。
- Cleanなラベル別の分布は $P=p(\mathbf{x}|y=+1), Q=p(\mathbf{x}|y=-1)$ である。
Class Priorは $\pi = Pr(y=+1)$ 。
予測したいのは学習器 $\eta : x \to Pr(y=+1|\mathbf{x})$ である。
- 学習器の予測は、学習器 $s$ と閾値 $t$ によって、 $\text{sign}(s(\mathbf{x}) - t)$ でラベルを予測する。
- 予測した結果について、precision, 偽陽性率、偽陰性率を指標として計算する。
Regretとは、実際に得られた分類器と理想の分類器の性能の差。
学習するためには、より大きく誤った予測には大きな損失を与える必要がある。それは損失関数を使う。
条件付きベイズリスク(Conditional Bayes Risk)とは、あるクラス $k$ についての確率 $\eta$ についての期待値。

\eta l_1(f(x)) + (1 - \eta)l_{-1}(f(x))

強適合損失関数(Strongly Proper Composite Loss)　損失関数が凸関数であるだけでなく、ある定数 $\lambda$ で保証できるものらしい。